데이터베이스 연구회지(SIGDB)
Current Result Document :
| 한글제목(Korean Title) |
Invariant 데이터를 이용한 순환처리를 지원하는 MapReduce 기반 분산 데이터 처리 시스템 |
| 영문제목(English Title) |
MapReduce based Distributed Data Processing System Supporting Iterative Processing using Invariant Data |
| 저자(Author) |
윤민
김형일
홍승태
최문철
조희승
최동훈
장재우
Min Yoon
Hyeong-il Kim
Seung-tae Hong
Moon-cheol Choi
Heeseung Jo
Donghoon Choi
Jae-Woo Chang
|
| 원문수록처(Citation) |
VOL 29 NO. 03 PP. 0013 ~ 0026 (2013. 12) |
한글내용
(Korean Abstract) |
최근 IT 분야에서 인터넷을 기반으로 IT 자원들을 서비스 형태로 제공하는 클라우드 컴, 퓨팅에 대한 관심이 증대되고 있으며, 이에 따라 대규모 데이터를 수많은 서버들에 분산 저장하고 관리하기 위한 분산 데이터 처리 기법에 대한 연구가 활발히 진행되고 있다. 하지만, Hadoop 및 HaLoop 과 같은 기존 연구들은 반복적인 수행을 위한 순환 처리 작업에 대해 효율적으로 지원하지 못하는 문제점이 존재한다. 이를 위해 본 논문에서는 비전문 개발자를 위한 MapReduce 기반 순환 처리 기법을 제안(이하 Hadoop X)한다. 제안하는 기법은 비전문 개발자가 효율적으로 순환 처리 응용을 사용할 수 있도록, invariant 데이터의 자동 검출 기능을 수행한다. 또한, 클러스터 환경의 가용 메모리를 활용한 In-memory 캐싱을 수행함으로써, 순환 처리 과정에서의 캐싱 성능을 향상시킨다. 마지막으로 다양한 순환 처리 응용을 통한 성능평가를 수행함으로써, 제안하는 시스템이 기존 시스템보다 향상된 성능을 보임을 입증한다.
|
영문내용
(English Abstract) |
Recently, interest in cloud computing which provides IT resources as service form in IT field is increasing. As a result, much research has been done on the distributed data processing that store and manage a large amount of data in many servers. However, the existing systems, such as Hadoop and HaLoop, have problems that do not provide iterative processing efficiently. Threfore, in this paper, we propose a new iterative processing system based on MapReduce. Our proposed system supoort automatic invariant data detection scheme for the layman who does not know MapReduce system. And in-memory caching algorithm in our system can improve the performance for iterative processing. Finally, we show from performance analysis that the proposed scheme greatly improve the performance of iterative processing than the existing systems.
|
| 키워드(Keyword) |
클라우드 컴퓨팅
대용량 데이터
분산 처리
MapReduce
순환 처리 시스템
Invariant 데이터 자동 검출
Cloud Computing
Big Data
Distributed Processing
MapReduce
Iterative Processing System
Automatic Invariant Data Detection
|
| 파일첨부 |
PDF 다운로드
|
